Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives
LLM Agent 能否守住剧本：互动叙事长程一致性基准
🧭 LLM Agent 长程一致性评测
University of Macau · Westlake University · Harbin Institute of Technology, Shenzhen · University of Cambridge · University of Aberdeen
提出 NCP 任务与 NCP-Bench 基准，系统评测 LLM 在对抗性互动下维持长期叙事承诺的能力，暴露严重一致性缺陷
📌 工作参考价值（4 点）
- 对话式推荐/导购 Agent 的多轮交互中，可显式维护“用户约束/已承诺事实”的结构化 memory，每轮生成后自动做 conflict check，避免推翻之前承诺（如预算、偏好、已推荐商品属性）。
- 借鉴其 benchmark 设计：把长会话目标拆成 trajectory + commitments + initial facts，用可自动校验的规格替代纯人工评分，可低成本构造电商导购场景的 consistency 回归测试集。
- 对抗性用户干预（如否定已确认信息、突然改需求）是真实线上常态；上线前应对 Agent 做 adversarial turn 压力测试，评测“生存率”而非只看单轮回复质量。
- 论文显示语言质量高不等于逻辑一致，模型规模/通用能力不直接解决长程状态追踪；工程上建议引入外部状态机或检查器，而非只依赖模型隐式记忆。